Đàm Tác Quân sinh tháng 10 năm 1968, quê quán tại huyện Trà Lăng, địa cấp thị Chu Châu, tỉnh Hồ Nam.

Ông là một thế hệ của Đàm gia Trà Lăng, ông nội là nguyên lão Đàm Dư Bảo, thành viên Đảng Cộng sản Trung Quốc những thế hệ đầu tiên trong Nội chiến Trung Quốc, nguyên Phó Chủ tịch Hồ Nam (tương ứng hiện là Phó Tỉnh trưởng Chính phủ Nhân dân), Bí thư Ủy ban Kiểm tra Kỷ luật tỉnh Hồ Nam, Phó Bí thư, hàm Bí thư Tỉnh ủy tỉnh Hồ Nam, Thường vụ Trung Nam Cục (Trung Nam Cục gồm Hà Nam, Hồ Bắc, Hồ Nam, Giang Tây, Quảng Đông, Quảng Tây), Bí thư Kiểm Kỷ Trung Nam Cục và là Đại biểu Đại hội đại biểu Nhân dân toàn quốc, Ủy viên Ủy ban Toàn quốc Hội nghị Hiệp thương Chính trị Nhân dân. Ông đã từng cứu sống Hồ Diệu Bang.[2]

Đàm gia thế hệ thứ hai có Đàm Nguyên Cương là Chủ nhiệm Văn phòng Hồ Nam tại Bắc Kinh, Đàm Mục Lan là Cục trưởng Cục Nội chính huyện Trà Lăng, một huyện có hơn 700.000 dân.

Đàm Tác Quân có một khoảng thời gian dài học tập tại Đại học Vũ Hán, lần lượt học tập bậc Đại học chuyên ngành Luật quốc tế, Pháp luật, Quản lý công. Ông nhận bằng Thạc sĩ Luật pháp, Thạc sĩ Quản lý Công nghiệp – Thương mại đều tại Đại học Vũ Hán, Hồ Bắc.